大佬说｜Open AI模型迭代路线图曝光，GPT-3或将开源，GPU短缺限制发展

「这些意见领袖对智能的观点值得听，因为他们影响AI的成长方向」

撰写：张司钰

编辑：王杰夫

Key Person

Sam Altman：OpenAI首席执行官，但并不持有OpenAI股权。此前，他曾担任Y Combinator的总裁，并短暂任Reddit的首席执行官。

Raza Habib：Humanloop首席执行官兼联合创始人。在剑桥大学攻读物理学期间，他对AI产生浓厚的兴趣并将其视为「我们一生中最具变革型的技术」。他曾在Google AI建立了语音系统。

5月29日，聚焦机器学习与AI的初创公司Humanloop CEO Raza Habib邀请OpenAI的CEO Sam Altman与其他20位开发人员，共同讨论OpenAI的API及其产品计划。

在整个讨论过程中，GPU短缺作为GPT-4提速的最大瓶颈被不断提及。Altman表示，如果想让模型效果更好GPU要跟得上，但GPU非常短缺。而早在5月16日的国会听证会上，他就曾表示过，考虑到计算能力的瓶颈，少一些人使用ChatGPT会更好。

除了GPU限制，Altman也坦诚介绍了OpenAI未来发展的路线图。值得一提的是，他认为目前Plugin（插件）还没有达到理想的产品形态，所以一个融合了Plugin功能的ChatGPT API不会很快发布，以及考虑到开源的重要性，OpenAI正计划开源GPT-3。

以下是Humanloop在博客上发布的访谈内容的要点整理，Sam Altman发言背后的意义也有简单介绍。

01 

 GPU限制API的可靠性与速度

更长对话有难度

Sam Altman：目前OpenAI受到GPU产能的限制非常严重，这导致我们延迟了许多短期计划。大客户抱怨最多的是API的可靠性与速度，这主要就是GPU短缺造成的。虽然OpenAI很可能在今年推出10万到100万tokens的上下文窗口，但由于尚未克服注意力机制的 O(n^2) 扩展问题，OpenAI暂时无法向更多人提供更长的3.2万tokens的上下文窗口。目前只有GPT-4才能够提供3.2万tokens的上下文窗口，并且只有Plus用户能够使用GPT-4。

NNT（新皮层）注：

（1）注意力机制的 O(n^2) 扩展问题意味着处理更长的序列需要更多的时间和计算资源，而GPU短缺限制了该问题的解决。这个问题类似于：你和一群人对话前，需要确定每个人与其他人之间的关系密切程度，因此需要与每个人一一比较，如果人数很多，比较的次数就会非常多，要消耗大量时间和精力。

（2）对于英文文本，3.2万个tokens大致相当于2.4万个单词，具体取决于文本的平均词长和语言的特点。需要注意的是，token不仅指单词，还包括标点符号、特殊字符、空格等。

微调API受限制

Sam Altman：OpenAI尚未使用像 Adapters 或 LoRa 这样高效的微调方法，因此微调运行和管理非常耗费计算资源。为了在未来提供更好的微调支持，OpenAI可能会创建一个平台/市场，让社区的成员可以贡献自己开发的模型。

NNT（新皮层）注：

这个平台意味着开发者可以分享、出售或者交换他们创建的自然语言处理模型，他们可以使用各种模型解决问题或开发自己的应用程序，这有助于促进模型的创新和共享，并提供模型商业化的可能性。

专用容量供应受限制

Sam Altman：由于GPU的可用性有限，专用容量的提供也受到限制。OpenAI提供专用容量，为客户定制模型的私人副本以满足特定需求。不过使用这项服务，客户必须愿意预先承诺付费10万美元。

NNT（新皮层）注：

专用容量供应服务通常适用于那些需要更高级别的定制化或专门训练模型的客户，OpenAI若想满足所有客户的需求则需要更多的GPU资源。

02 

 OpenAI短期路线图

2023年

Sam Altman：OpenAI首要的任务是更便宜、更快的GPT-4，我们将努力降低API的成本以达到让「智能成本」降到最低。在不久的未来，上下文窗口将变得更长，高达100万tokens，即75万单词，也是有可能的。此外，微调API将扩展到最新的模型，但具体形式要根据开发者的需求确定。不过，调用聊天API时，必须反复传递相同的对话历史，并为相同的token付费。未来，OpenAI将推出一个能记住对话历史的版本。

2024年

Sam Altman：当初GPT-4的发布中有一部分演示涉及多模态功能，但这部分功能只有在获得更多GPU后才能让更多人体验。

NNT（新皮层）注：

虽然OpenAI并未公布多模态功能的具体细节，但根据演示内容，其多模态功能可能能够实现：

（1）同时理解文本和图像数据，并在生成文本时考虑图像的含义和上下文；

（2）处理同时包含文本和语音的数据；

（3）处理同时包含文本和视频的数据。

03 

插件API接口暂时不发布

Sam Altman：许多开发者都希望通过API在外部调用一个拥有Plugin功能的ChatGPT，但因为这个产品没有达到理想的形态，该API不会很快发布。很多人表示希望将应用程序内置到ChatGPT中，但实际上他们真正想要的只是将ChatGPT嵌入到自己的应用程序中。

NNT（新皮层）注：

对于Plugin功能的终极形态，OpenAI与Altman看起来还在酝酿中。

打个比方：现在ChatGPT是个很厉害的厨子，所以很多人把自己家的食材（通过Plugin）拿来让这个厨子加工成菜，但目前只能在厨子这里吃，所以很多人提出要求，能不能把菜带回家（用API调用ChatGPT+Plugin）吃？但Altman的回答模棱两可，或许他想让ChatGPT走出去，成为每家每户的定制化厨子；又或许干脆关起门来，让这个加工中心变成大饭店。更开放还是更封闭，OpenAI需要想清楚。

04 

除ChatGPT，OpenAI会避免在应用层面与客户竞争

Sam Altman：OpenAI不会推出ChatGPT以外的产品。伟大的平台公司历史上都有一款杀手级应用程序。ChatGPT的愿景是成为超级智能助手，但OpenAI不会涉足其他GPT使用场景。

NNT（新皮层）注：

相当多的开发者表示，他们对使用OpenAI的API构建应用程序感到不安，因为担心OpenAI可能会发布与他们竞争的产品。Altman回应了开发者的顾虑，称OpenAI不会触及比如游戏、写作、教育等场景。

05 

 开源和监管同样重要

Sam Altman：我提倡监管未来的模型，但现有模型其实并不危险，监管或禁止它们是一个严重错误。开源非常重要，OpenAI正在考虑开源GPT-3。之所以还没有开源，部分原因是我对有多少个人和公司有能力托管和提供大型语言模型持怀疑态度。

NNT（新皮层）注：

不少开发者对于Altman这条言论表示不满。他们认为OpenAI当初承诺会一直开源——公司的名字里面就有Open（开源）的意思。况且这一次Altman的借口居然是，因为没有公司能够托管GPT-3所以不开源。“我不会和你分享我的巧克力，因为你可能不喜欢（不能消化）它，”一位网友这么吐槽道。

06 

AI模型变大仍会提高性能

Sam Altman：最近有很多文章声称「巨型AI模型时代已经结束」，这并不准确。OpenAI的内部数据表明，模型性能的缩放规律（scaling laws）仍然适用，让模型变得更大仍会提高性能。OpenAI在短短几年内就使模型增大了数百万倍，虽然未来持续这样的速度是不可能的，这并不意味着OpenAI会停止尝试使模型变得更大，未来模型不会成倍增加，但可能会增加一到两倍。我们可能已经具备构建AGI所需的大部分基础，并且剩下的大部分工作将是把现有方法扩展到更大的模型和更大的数据集上。如果缩放规律不适用了，我们可能会离AGI时代更遥远。

NNT（新皮层）注：

缩放规律指的是当AI模型的规模变得更大，就能处理更复杂的任务，生成更准确、丰富和有创造性的结果，所谓大模型越做越好。Altman当然希望缩放规律能够一直持续，只有这样资源最多的大公司才能垄断最好的大模型。普通用户自然希望模型能够精简一些，更多元化的大模型出现才能实现AI平权。

（注：Humanloop在官网发布的有关本文的访谈已经删除。）

-END-

上一篇：

若想了解更多当日资讯，请点击阅读往期智能晚报：

新皮层New New Thing 

Hello！

我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。

和每一位关心技术、关照人的命运的读者一样，我们希望在这个有史以来不确定性最高的时代，更好地理解快速变化的科技世界，也更好地理解生而为「高级智能」的我们自己。在这个目标下，我们计划从学术、商业、伦理、监管等多个角度报道和讨论与「智能」相关的议题。请注意，我们说的是智能，不只是AI。

请关注我们哦！

与记者交流，可添加微信（请备注公司名称和姓名）：

王杰夫 微信号: wjfsty

张司钰 微信号: helianthus351

吴洋洋 微信号: qitianjiuye

再次，喜欢就关注我们吧，记得「设为星标」